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Abstract of DE1 01 23365 
Method for movement detection in at least two 
time sequential digital images with pixels to which 
coding information is assigned. The method has 
the following steps: use of coding information for 
determining at least one contour with a plurality 
of contour pixels arranged on it in a first image; 
use of contour pixels to detect movement in 
relation to a reference contour consisting of 
contour pixels contained in a second image. 
Independent claims are made for a device for 
detecting movement in sequences of two or more 
time sequential digital images and corresponding 
computer program and computer storage 
medium. 
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Prufungsantrag gem. § 44 PatG ist gestellt 

(§) Verfahren und Vorrichtung zum Ermitteln von Bewegung in mindestens zwei zeitlich aufeinander folgenden 
digitalen Bildern, Computerlesbares Speichermedium und Co mputerprogra mm -Element 



(§) Unter Verwendung der Codierungsinformation wird In 
einem ersten Bild mindestens eine Kontur mit einer vlel- 
zahl von auf der Kontur sich befindenden Kontur-Bild- 
punkten ermittelt und unter Verwendung der Kontur-Bild- 
punkte wlrd eine Bewegungsermittluntj durchgefuhrt be- 
zuglich einer In einem zweiten Bild enthaltenen Referenz- 
Kontur mit Referenz-Kontur-Bildpunkten. 
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Beschreibung 

[0001] Die trfindung betrifft ein Verfahren und eine Vorrichtung zur Ermittlung von Bewegung in mindestens zwei 
zeitlich aufeinander folgenden digitalen Bildem, ein Compu terlesbares Speichermedium sowie ein Computerprogramm- 
5 Element. 

[0002] Im Rahmen der digitalen Bildverarbeitung isl die Ermittlung von Bewegung in zeitlich aufeinander folgenden 
Bildern, ublicherweise auch als Bewegungsschatzung bezeichnet, eine wesentliche Infonnatioh zum Ennitteln des In- 
halts von digitalen Bildern. So wird beispielsweise auch im visuellen System eines Menschen die Bestimmung der Be- 
wegung von wahrgenommenen Objekten als ein fruher VerarbeitungsschriU in der menschlichen Sinneswahraehinung 
10 ausgefuhrt. m 

[0003] In der digitalen Bildverarbeitung ist jedoch die Bestimmung der Bildbewegung ein sehr rechenintensiver und 
soinit kostenintensiver Prozess. 

[0004] Insbesondere um eine Ermittlung der Bildbewegung in Echtzeit durchfuhren zu konnen und damit die Anwen- 
dung von Bildverarbeitungs verfahren in Echtzeitanwendungen verlasslich gewahrleisten zu konnen, imissen gemaB dem 
15 Stand der Technik aufgrund der Komplexitat der bekannten Verfahren sehr kostenintensive Hardwareelemente eingesetzt 
werden, beispielsweise spezielle Grafikprozessoren oder Grafikkarten (vor allem auch Bildverarbeitungskarten). Alter- 
nativ ist es bekannt, die Bestimmung der Bildbewegung lediglich anhand einiger weniger Bildpunkte in dem digitalen 
Bild durchzufuhren, um somit die entsprechende Rechenzeit einzusparen. 

[0005] Auf den oben genannten Prinzipien beruhende Verfahren zur Brrnittlung der Bildbewegung in einer zeitlichen 
20 Folge digitaler Bilder sind in [1], [2] und [3] beschrieben. . . . 

[0006] Der Einsatz kostenintensiver Hardware ist jedoch sehr nachteilig und femer nur in bestimmten Anwendungen 
tmerhaupt moglich. 

[00071 Femer fuhrt die Beschrankung auf einzelne Bildpunkte bei der Ermittlung der Bildbewegung dazu, dass ledig- 
lich ein kleines Feld von Bildpunkten mit den Bildpunkten zugeordneten Codierungsinformationen bei der Bewegungs- 

25 ermittlung beriicksichtigt werden, wobei die einzelnen Bildpunkte sparlich uber das gesamte Bild verteilt sind. 

[0008] Untcr Codicrungsinformation ist im wcitcrcn cine Hclligkcitsinformation (Luminanzinformation) und/odcr 
eine Farbinformation (Chrominanzinformation) zu verstehen, die jeweils einem oder mehreren Bildpunkten zugeordnet 
ist/sind. " ... 
[0009] Diese geringe beriicksichtigte Informationsmenge macht jedoch die anschlieBende Auswertung der Bildinfor- 

30 mation schwierig und fehlerbehaftet, beispielsweise wenn es darum geht, ein Fahrzeug als ein zusammenhangendes Ob- 
jekt anhand der Bewegungsinformation in einer Folge digitaler Bilder zu ermitteln und dessen Bewegung uber mehrere 
digitale Bilder hinweg zu beschreiben. 

[0010] tJblicherweise werden die ausgewahlten Bildpunkte, die im Rahmen der Bewegungsermittlung in zeitlich auf- 
einander folgenden digitalen Bildem beriicksichtigt werden, Uber Grauwertecken definiert, das heifit uber Bildpunkte, 

35 die sich in eiriem Eckbereich von sprunghaften tJbergangen in den den jeweiligen Bildpunkten zugeordneten Luminanz- 
werten befinden. Diese Grauwertecken sind jedoch nicht notwendigerweise objektspezifisch. Dies gilt vor alien an den 
Objektgrenzen, da an den Objektgrenzen die Grauwertecken durch den Grauwertverlauf von Hinlergrund und Objekt be- 
stimmt werden. Da der Hintergrund jedoch nicht gleichformig im Bild sein muss, fiihrt in diesem Fall die zeitliche Zu- 
ordnung der Grauwertecken zu false hen Bewegungsinformationen. 

40 [0011] In [4] und [5] sind Verfahren zur Ermittlung einer Kontur mit Kontur-Bildpunktcn in cincm digitalen Bild mit 
Bildpunkten, denen Codierungsinformation zugeordnet ist, beschrieben. 

[0012] In [6] ist ferner eine Distanztransformation als morphologische Operation zur Bestimmung minimaler Abstande 
von Punkten einer betrachteten ortlichen Umgebung zu einer Kontur mit Kontur-Bildpunkten bekannt In [7] und 18] sind 
zwei alternative Implementierungen der Distanztransformation aus [6] beschrieben. 
45 [0013J Weiterhin ist es aus 19J bekannt, dass es moglich ist, lediglich aus einer Konturreprasentation eines digitalen 
Bildes das gesamte digitale Bild wieder zu rekonstruieren. 

[0014] Der Erflndung liegt das Problem zugrunde, eine vereinfachte und somit schhellere und kostengunstigere Ermitt- 
lung der Bewegung in einer Folge zeitlich aufeinander folgender Bilder anzugeben. 

[0015] Das Problem wird durch das Verfahren und die Vorrichtung zur Ermittlung der Bewegung in mindestes zwei 
50 zeitlich aufeinander folgenden digitalen Bildem, das Computerlesbare Speichermedium und das Computerprogramm- 
Element mil den Merkmalen gemaB den unabhangigen Patentanspruchen gelosL 

[0016] Bei einem Verfahren zur Ermitdung der Bewegung in mindestens zwei zeitlich aufeinander folgenden Bildem 
sind in den digitalen Bildern Bildpunkte vorhanden, denen jeweils Codierungsinformation zugeordnet ist Unter ^rwen- 
dung der Codierungsinformationen wird in cincm crstcn Bild mindestens cine Kontur mit einer Viclzahl von auf der 
55 Kontur sich befindenden Kontur-Bildpunkten errnittelt. Unter Verwendung der auf der errnittelten Kontur des ersten Bil- 
des sich befindenden Kontur-Bildpunkten wird eine Ermittlung der Bewegung beziiglich einer in einem zweiten Bild ent- 
haltenen Referenz-Kontur mit Referenz-Kontur-Bildpunkten durchgefuhrt. 

[0017] Eine Vorrichtung zur Ermittlung der Bewegung in mindestens zwei zeitlich aufeinander folgenden digitalen 
Bildern weist einen Prozessor auf, der derart eingerichtet ist, dass die oben beschriebenen Verfahrensschritte durchfuhr- 
60 bar sind. 

[0018] Auf einem cbrnputerlesbaren Speichermedium ist ein Prograrnm gespei chert, das es einem Computer ermog- 
licht, nachdem es in einen Speicher des Computers geladen worden ist, die oben beschriebenen Verfahrensschritte durch- 
zufuhren zur Ermittlung der Bewegung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildem. 
f 0019] Ein Computerprogramm-Element weist die oben beschriebenen Verfahrensschritte auf, nachdem es in einem 
65 Speicher des Computer geladen worden ist und von dem Computer ausgefuhrt wird zur Ermitdung der Bewegung in 
mindestens zwei zeitlich aufeinander folgenden digitalen Bildern. 

[0020] Anschaulich kann die Erflndung darin gesehen werden, dass die Ermitdung der Bewegung anhand der errnittel- 
ten, das hciBt aus cincm digitalen Bild cxtrahicrtcn, Kontur in cincm digitalen Bild bestimmt wird beziiglich cincr Rcfc- 
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renzkontur.in einem zeitlich vorangegangenen oder zeitlich nachfoigenden Bild. 

[0021] Im Weiteren wird unter einer Kontur eine zusainmenhangende, das heiBt eine Folge von in einem Bild ortlich 
benachbarter Kontur-Bildpunkten bezeichnet. Anders ausgedruckt sind Bildpunkte zusammenhangend und bilden somit 
eine Kontur, wenn sie auf dein Bildraster, das heiBt in dem digitalen Bild, unmittelbar benachbart zueinander angeordnet 
sind. 5 
10022] Die Verwendung der ermittelten Konturen und der sich darin befindenden Kontur-Bildpunkte im Rahmen der 
Bewegungsermittlung in einer Folge digitaler Bilder erlaubt eine zeitliche Stabilisierung der ermittelten Bewegungsin- 
formation und auBerdem auch die Ennittlung und Erfassung selbst kleiner Bewegungen in der Folge zeitlich aufeinander 
f olgender digitaler Bilder. Dies wird insbesondere dadurch ermoglicht, dass iniUels der Emditlung der Konturen und der 
Beriicksichtigung der Konturen in der Bewegungsermittlung iiblicherweise eine zeitliche Integration uber die im Weite- 10 
ren erlauterte anschaulich definierte Flache durchgefuhrt wird, die durch die \ferschiebung von Konturen in zeitlich auf- 
einander folgenden digitalen Bildern zwischen den beiden beriicksichtigten Konturen gebildet wird. 
[0023] Dies ist insbesondere vorteilhaft for die Bewegungsbestimmung im Fernfeld einer Videosequenz, das heiBt ins- 
besondere im Bildhintergrund einer Folge digitaler Bilder. 

[0024] Aufgrund der Perspektive liegen Bewegungen im Fernfeld einer Videosequenz, das heiBt Bewegungen zwi- 15 
schen zwei aufeinander folgenden digitalen Bildem, iiblicherweise unterhalb der Bildauflosung und konnen somit mit 
den iiblicherweise durchgefuhrten Verfahren haufig gar nicht erst ermittelt werden. 

[0025] Weiterhin fuhrt die sehr gezielte Auswahl von im Rahmen der Bewegungsermittlung beriicksichtigten Bild- 
punkten, namlich die Beriicksichtigung von zuvor in einem ersten Extraktionsschritt ermittelten Kontur-Bildpunkten, 
dazu, dass eine Ermittlung der Bewegung selbst in Echzeitanwendungen bei Einsatz iiblicher Personal Computer ohne 20 
zusatzliche aufwendige Spezial-Hardware ermoglicht wird. 

[0026] In diesem Zusammenhang ist anzumerken, dass Echtzeit kein eindeutig definierter Leistungsbegriff ist Im Wei- 
teren wird unter Echtzeit eine Verarbeitungszeit verstanden, die iiuWesentlich kleiner als 40 ms betragt. Ein Zeilintervall 
von 40 ms entspricht dem Zeitversatz zweier digitaler Einzelbilder einer analogen Videosequenz. 

[0027] Bevorzugte Weiterbildungen der Erfindung ergeben sich aus den abhangigen Anspruchen. 25 
[0028] Die im Wcitcrcn bcschricbcncn Ausgcstaltungcn der Erfindung gcltcn fur das Verfahren, die Vorrichtung, das 
Computerprogramm-Element als auch fiir das computerlesbare Speichermedium. 

[0029] GemaB einer Ausgestaltung der Erfindung wird unter Verwendung der Codierungsinformation in dem zweiten 
Bild mindestens eine Referenzkontur mit einer Vielzahl von auf der Kontur sich befindenden Referenz-Kontur-Bild- 
punkten ermittelt. 30 
[0030] Die Bewegungsermittlung kann sowohl ausgehend von einem zeitlich vorangegangenen Bild als auch von ei- 
nem zeitlich nachfoigenden Bild durchgefuhrt werden, das heiBt es kann sowohl eine Bewegungspradiktion als auch eine 
Bewegungsermittlung in zeitlich riickschauender Betrachtung durchgefuhrt werden. 

[0031] Anders ausgedruckt bedeutet dies, dass das zweite Bild als Referenzbild mit der Referenz-Kontur das gegen- 
iiber dem ersten Bild mit der extrahierten, bei der Bildbewegung beriicksichtigten Kontur, zeitlich vorangegangene oder 35 
auch zeitlich nachfolgende Bild sein kann. 

[0032] Bei der Ennittlung der Bildbewegung kann fur die Referenz-Kontur und die sich auf der Referenz-Kontur be- 
findenden Referenz-Kontur-Bildpunkten mittels einer morphologischen Operation ein Minimal- Abstandsbild ermittelt 
werden, das heiBt anschaulich ein Feld von Werten, mit denen jeweils ein Minimal- Abstand eines Bildpunktes in dem 
Minimal- Abstandsbild zu cincm Rcfcrcnz-Kontur-Bildpunkt angegeben wird. 40 
[0033] Als morphologische Operation kann eine Distanztransformation eingesetzt werden, wobei es sich herausgestellt 
hat, dass insbesondere die in [6] beschriebene Distanztransformation sehr geeignet ist und zu sehr guten Ergebnissen 
fuhrt 

[0034] Ein Minimal- Abstandswert fur einen Referenz-Kontur-Bildpunkt zu einem Zeitpunkt t zu einem Bildpunkt in 
einem Abstandsbild wird gemaB einer Ausgestaltung der Hrfindung gemaB fblgender Vbrschrift ermittelt: 45 

Dv(i)(*, y, 0 = min||[x, y] T - y/0, Oil, 
wobei mit 

50 

- Dy(i)(x, y, i) ein Minimal- Abstandswert zwischen dem Bildpunkt [x, y] und einem Referenz-Kontur-Bildpunkt 
auf der Referenz-Kontur in dem zweiten Bild, 

- [x, y] ein Bildpunkt in dem Abstandsbild, 

- v'(l, t) cin Rcfcrcnz-Kontur-Bildpunkt in dem zweiten Bild, 

- 1 ein Referenz-Kontur-Bildpunktindex zur eindeutigen Identifizierung eines Referenz-Kontur-Bildpunkts auf der 55 
Referenz-Kontur in dem zweiten Bild, 

- t ein Zeitpunkt, zu dem die Ermittlung durchgefuhrt wird, 
bezeichnet wird. 

[0035] GemaB einer weiteren Ausgestaltung der Erfindung ist es vorteilhaft, zusatzlich die Konturrichtung, das heiBt 60 
die Richtung, in welcher die Kontrastveranderung entlang einer Kontur verlauft, zu berucksichtigen. 
[0036] Durch diese Ausgestaltung der Erfindung wird die Verlasslichkeit der ermittelten Bewegung weiter erhoht 
[0037] Die Erfindung eignet sich insbesondere zum Einsatz im Bereich der Erfassung von bewegten Objekten in einem 
Szenario, in dem es gilt, eine Vielzahl von bewegten Objekten voneinander und von nicht bewegten Objekten zu unter- 
scheiden. 65 
[0038] Ein sehr geeignetes Einsatzgebiet ist insbesondere die Verkehrsuberwachung bzw. die Ermittlung der Bewe- 
gung in Szenen, die von einer in einem fahrenden Fahrzeug installierten digitalen Kamera aufgenommen werden. 
[0039] Ein Ausfuhrungsbcispicl der Erfindung ist in den Figurcn dargcstcllt und wird im Wcitcrcn nahcr crlautort 
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[0040] Es zeigen 

[0041] Fig, 1 ein Blockdiagramm, in deni die einzelnen Verfahrensschritte der Bestimmung der Bildbewegung gemaB 
einem Ausfuhrungsbeispiel der Erfindung dargestellt sind; 

[0042J Fig. 2 ein Ablaufdiagramm, in dem die Verfahrensschritte zur Hrmittlung der Bildbewegung gemaB einem Aus- 
5 fuhrungsbei spi el der Rrfl ndung i m Detail dargestellt si nd; 

[0043] Fig. 3 eine Darstellung eines Abstandsbildes mit einer Referenz-Kontur, mit der Referenz-Kontur zugeordneten 
HGhenlinien, sowie mit einer Kontur; 

[0044] Fig. 4a bis 4c Ergebnisse der erfindungsgemafien konturbasierten Bewegungsbestimmung ftir unterschiedliche 
Szenen. 

10 [0045] GemaB dem Ausfuhrungsbeispiel ist eine Digitalkamera an einem Fahrzeug installiert und nimmt in Fahrtrich- 
tung des sich bewegenden Fahrzeuges einen Aufhahmebereich auf . 

[0046] Es wird somit mittels der Digitalkamera eine Folge digitaler Bilder erzeugt, wobei jedes digitale Bild eine Viel- 
zahl von Bildpunkten und den Bildpunkten zugeordneten Codierungsinformationen, gemaB diesem Ausfiihrungsbeispiel 
den Biidpunkten zugeordnete Helligkeibwerte, aufweist 
15 [0047] Ein Helligkeits wert, der einem Bildpunkt, gekennzeichnet durch zwei Koordinaten x und y zu einem Zeitpunkt 
t identifizierten digitalen Bild zugeordnet ist, wird mit I(x, y, t) bezeichnet (vgl. Fig. 1). 

[0048] GemaB diesem Ausfuhrungsbeispiel wird fur jeweils ein digitales Bild, gemaB diesem Ausfuhrungsbeispiel im 
Weiteren bezeichnet als erstes digitales Bild, mit den Helligkeitswerten I(x, y, t) eine Konturextraktion durchgefuhrt. An- 
ders ausgedriickt werden fur das erste Bild Konturen ermittelt (Block 101 in dem Blockdiagramm 100 in Fig. 1). 
20 [0049] Dies erfolgt dadurch, dass Kanten in dem digitalen Bild detektiert werden. Kanten markieren Kontrastsprunge 
in dem Verlauf der Helligkeitsinformation in dem digitalen Bild. 

[0050] Wle oben schon dargelegt, werden im Weiteren zusammenhangende Ketten von Konturpunkten, das heifit als 
zusammenhangende Kanten, das heiBl als eine zusammenhangende Folge von ortlich unuutlelbar benachbarlen Kontur- 
punkten als Konturen bezeichnet 
25 [0051] GemaB diesem Ausfuhrungsbeispiel der Erfindung wird zur Konturextraktion das in [4], altemativ dazu das in 
[5] bcschricbcnc Vcrfahrcn, durchgefuhrt. 

[0052] Fig. 2 zeigt den Schritt der Konturextraktion 101 fur ein digitales Bild 201 im Detail in einem Ablaufdiagramm 
200. 

[0053] Fur das digitale Bild 201 wird gemaB dem in Fig. 2 dargestellten Ablaufdiagramm 200 eine Gradientenfilterung 
30 (Schritt 202) und anschlieBend eine gradientenbasierte Linienverdiinnung (Schritt 203) durchgefuhrt 

[0054] In einem weiteren Schritt werden errnittelte Kanten-Bildpunkte e(x, y,' t) von ermittelten Linien in dem digitalen 
Bild 201 miteinander verknupft und es wird eine Kontur, im allgemeinen Fall eine Vielzahl von N Konturen in jedem di- 
gitalen Bild 201, ermittelt (Schritt 205). 

[0055] Als Ergebnis der Konturextraktion 101 liegt somit gemaB diesem Ausfuhrungsbeispiel der Erfindung eine Da- 
35 tenstruktur y^(t) vor, in der die N extrahierten Konturen in dem berticksichtigten digitalen Bild 201 enthalten und gespei- 
chert sind, auf die im Folgenden direkt zugegriffen werden kann. 
[00561 In einem weiteren Schrill erfolgt die Konlurzuordnung (Schritt 102 in Fig. 1). 

[0057] Im Rahmen der Kon turzuordnung 102 wird fur jeden ermittelten Konturpunkt einer Kontur v^t) ein korrespon- 
dierender Punkt in einer Referenz-Kontur in einem zeitlich vorangegangenen digitalen Bild, das heiBt ein Referenz-Kon- 
40 tur-Bildpunkt, ermittelt. Der Rcfercnz-Kontur-Bildpunkt befindet sich auf cincr Rcfcrcnzkontur in dem zeitlich vorange- 
gangenen Bild. v^t - 1) bezeichnet sornit die in dem vorangegangenen Zeitschritt errnittelte Konturstruktux 
[0058] Allgemein wird die Korrespondenz fiir jeden Kontur-Bildpunkt der Kontur uber einen Verschiebungsvektor, 
auch Translationsvektor genannt, ausgedruckt 

[0059] Fiir den Translationsvektor soil gelten, dass mittels des jeweiligen TVanslationsvektors die Konturumgebung 
45 moglichst gut auf Referenz-Kontur-Bildpunkte aus dem vorangegangenen digitalen Bild abgebildet werden konnen. 
[0060] Es wird die Annahme verwendet, dass die zeitliche Veranderung von Konturen naherungsweise durch eine 
Translation beschrieben wird. Die Verschiebung ist dann optimal, wenn die Summe der minimalen Abstande zwischen 
Punkten der betrachteten Konturumgebung und Referenz-Kontur-Bildpunkten der Referenz-Kontur v^t - 1) minimal 
wird. 

so [0061] Zur Bestimmung der minimalen Abstande wird ernndungsgemSB eine morphplogische Operation, gemaB die- 
sem Ausfuhrungsbeispiel die in [6] beschriebene Distanztrdnsformation, eingeselzt. 

[0062] Fig. 3 zeigt zur weiteren Veranschaulichung das Prinzip der Zuordnung fur zwei zeitlich aufeinander folgende 
Konturen, das heiBt fur Konturen aus zwei zeitlich aufeinander folgenden Bildem, fiir die jeweils eine Bewegungsbe- 
stimmung durchgefuhrt wird. Fig. 3 zeigt cin Abstandsbild 300 mit cincr Rcfcrcnz- Kontur 301, sowic mit Hohenlinien 
55 302, die mittels der in [6] beschriebenen Distanztransformation gebildet werden. Unter Hohenlinien werden im Weiteren 
diejenigen Linien in dem Abstandsbild verstanden, die einen konstanten minimalen Abstand zu der Referenz-Kontur, 
d. h. zu einem Referenz-Kon tur-Bildpunkt auf der Referenz-Kontur aufweisen. 

[0063] Die Distanztransformation wird fur jede Referenz-Kontur, die im Rahmen der Bewegungsermittlung beriick- 
sichtigt wird, durchgefuhrt Ergebnis der im Weiteren im Detail erlauterten Distanztransformation angewendet auf die 
60 Referenz-Kontur v'(l, t - 1 ) ist in Fig. 3 mittels der Hohenlinien 302 verdeutlicht 

[0064] Die Umgebung yj(k, t) eines Bildpunktes in dem mittels der Distanztransformation gebildeten und in Fig. 3 dar- 
gestellten Minimal- Abstandsbild 300 wird zur Bewegungsermittlung beziiglich einer Kontur 303, fur welche die Bewe- 
gung ermittelt werden soli, verschoben. 

[0065] Fiir jede dieser Verschiebungen kann an jedem Konturpunkt der minimale Abstand zu der Referenz-Kontur v'(l, 
65 t - 1) anhand der Hohenlinie 302 angegeben werden. 

[0066] Die nnnimale Summe dieser ermittelten Abstande fuhrt dann auf die optimale Verschiebung, naherungsweise 
auf die optimale TVanslation, in Fig. 3 symbolisiert dargestellt mittels TVanslationsvektoren 304. 

[0067] Dieses Prinzip der Konturzuordnung hat gegenuber cincm dircktcn'Vcrglcich von Konturen den Vortcil, dass 
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Fehler bei der Konturdetektion einen geringeren Einfluss auf die Quatitat der Beweguhgsermittlung besitzen. Dies ist 
insbesondere dann von Bedeutung, wenn Konturen unvollstandig oder in ihrem Verlauf unterbrochen sind. 
[0068] Ira Weiteren wird die Konturzuordnung 102 im Detail naher erlautert In deih in Fig. 2 dargestellten zweiten 
Block, das heiBt der in dem Block der Konturzuordnung 102, wird die eigentliche Bewegung entlang der Konturen be- 
rechnet s 
[0069] Um eine effiziente Verarbeitung der Konturen im Rah men der digitalen Bildverarbeitung zu ermoglichen, wird 
im Weiteren die Bildreprasentauon in eine Datenstruktur Uberftihrt, die den direkten Zugriff auf Konturen als eine Kette 
von Konturpunkten ermoglicht. 

[00701 Zur KonUirreprasentalion wird soinil jede Kontur mil v°(0 bezeichnet. Der Konturindex n ist eine nalurlicbe 
Zahl im Bereich von zwischen 1 und N, wobei mit N die Anzahl der in der Datenstruktur enthaltenen Konturen bezeich- 10 
net wird 

[0071] Nach der Generierung der Konturstruktur folgt in einem weiteren Schritt die zeitliche Zuordnung der Konturen. 
[0072] Im Rahmen der Konturzuordnung wird fur jeden Konturpunkt eine optimale Zuordnung bestimmt. 
[0073] Werden zwei zeitlich aufeinander folgende Konturen, das heiBt eine Kontur in einem ersten Bild v(k, t) und eine 
Referenz-Kontur v(l, 1 - 1) betrachtet, so wird das oben beschriebene Optimierungskriterium gemaB folgender Energie- is 
rxunirnierung formuliert: 

k=k it 

Efei) = S min||v'(l)- (^00+ Ti) 2 ], (1, 
k=k i0 1 

wobei mit 

- i ein Translationsvektor-Index zur eindeutigen Identifizierung eines Translationsvektors, 25 

- Ti cin i-tcr Translationsvcktor, 

- Vi(k) ein Kontur-Bildpunkt in dem ersten Bild, 

- k ein Kontur-Bildpunktin(Jex zur eindeutigen Identifizierung eines Kontur-Bildpunkts in dem ersten Bild, 

- v'(l) ein Referenz-Kontur-Bildpunkt in dem zweiten Bild, 

- Fein Referenz-Kontur-Bildpunktindex zur eindeutigen Identifizierung eines Referenz-Kontur-Bildpunkts auf der 30 
Referenz-Kontur in dem zweiten Bild, 

- k i0 ein erster Referenz-Kontur-Bildpunkt, 

- k it ein zwei ter Referenz-Kontur-Bildpunkt, und 

- E(Ti) ein minimaler Energiewert, 

35 

bezeicbnet wird. 

[00741 GemaB Vorschrifl. (1) wird die DhTerenzflache zwischen zwei Konturen, das heiBt zwischen der Kontur v(k, I) 
und der Referenz-Kontur v(l, t - 1) mittels der Summe der minimalen Abstande approximiert. 
[0075] Die optimale Translation ergibt sich aus der minimalen Energie E(Ti) zu: 

Ti = arg min E^), (2 ) 

wobei mit Ji eine optimale Translation bezeichnet wird. 

[0076J Mit Hilfe der Distanztransformation, wie iJie im Weiteren naher erlautert wird, erfolgt die Bestimmung der mi- 45 
nimalen Abstande sehr effizient; 

[0077] Mittels der Distanztransformation, welche auf die Referenz-Kontur v(l, t - 1 ) gemaB dem in [6] beschriehenen 
Verfahren angewendet wird, wird ein Minimal- Abstandsbild 300 mit Minimal- Abstandswerten D V (i)(x, y, t - 1) erzeugt, 
wie es in Fig. 3 beispielhaft dargestellt ist 

[0078] Jeder Bildwert, d. h. jeder Minimal- Abstandswert D v( n(x, y, t - 1) in dem Abstandsbild 300 enthalt die Infor- 50 
mation des minimalen Abslandes, das heiBt anders ausgedriickt den minimalen Abstandswert D V (i)(x, y, t - 1) eines Bild- 
punkts in dem Minimal- Anstandsbild 300 zu einem Referenz-Kontur-Bildpunkt der Referenz-rtontur v(U t- 1). 
[0079] Die Distanzu*ansformation wird gemaB folgender Vorschrifl auf jeden Referenz-Konturpunkf und den entspre- 
chcndcn Bildpunkt in dem Abstandsbild D v(1) (x, y, t - 1) 300 angewendet gemaB: 

D v(l) (x, y, t~ 1) = min||[x, y] T - V0, t- 1)11, (3) 

wobei mit 

- D y (i)(x, y, t - 1) ein Minimal- Abstandswert zwischen dem Bildpunkt [x, y] und einem Referenz-Kontur-Bild- 60 
punkts auf der Referenz-Kontur in dem zweiten Bild, 

- fx, y] ein Bildpunkt in einem Distanztransformations-Bild, 

- t ein Zeitpunkt, 

- VQ) ein Referenz-Kontur-Bildpunkt in dem zweiten Bild, und 

- 1 ein Referenz-Kontur-Bildpunktindex zur eindeutigen Identifizierung eines Referenz-Kontur-Bildpunkts auf der 65 
Referenz-Kontur in dem zweiten Bild, 

bezeichnet wird. 
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[0080] Damit lasst sich Vbrschrift (1) umwandeln in folgende Vorschrift: 
K "" 1 / V> 

e^) = 2 ^(i)fe( k ) + • < 4 > 

k=0 

[0081] Dies bedeutet anschaulich. dass die Energien bestimml werden, indem die Kontur, fUr welche die Bestimmung 
unter BerUcksichligung bezuglich der Referenz-Kontur besliimnl werden soil, uber das Abslandsbild 300, das heiBt uber 
10 die Funktion, das heiBt die minirnalen Abstandswerte D V (i)(x, y, t - 1) n dem Abstandsbild 300 verschoben wird und fur 
jede Verschiebung, das heiBt TYanslation, die Abstandswerte (Distanzwerte) aus dem Abstandsbild gelesen, das heiBt er- 
mittelt und aufsummiert werden. 

[0082] In Vorschrift (4) wird die minimale Distanz somit nur einmal bei der Erzeugung des Abstandsbildes 300 berech- 
net. 

15 [0083] Dies ist gegenuber der fur jeden Bildpunkt zu ermittelnden Approximation gemaB \forechrift (1) eine erhebliche 
Vereinfachung, da in (1) die Ermittlung der Distanz fur jede Translation erforderlich ist. 

[0084] Urn die Bewegungsinformation entlang der jeweiligen Kontur bzw. der Kontur-Bildpunkte zeitlich zu stabili- 
sieren, wird eine eindeutige Zuordnung von Vorgangerkontur und Nachfolgerkontur ermittelt 

[0085] Dies erfolgt erflndungsgemaB durch eine Modification von Vorschrift (4), so dass sich zur Ermittlung der jewei- 
20 ligen Energie erflndungsgemaB folgende Vorschrift ergibt 



25 



Efei) = 



k-i 

£ Pv-(i)fefc) + T±)r falls D jr#i) + ?±) = 0 

k=0 • lS>j 

MAX _ VALUE sonst 



[0086] Anschaulich bedeutet Vorschrift (5), dass Energien nur besummt werden, wenn der Translationsvektor Ti auf ei- 
nen Konturpunkt in dem Vorgangerbild, das heiBt auf einem Referenz-Kontur-Bildpunkt zeigt. Sonst wird der jeweilige 
30 Energiewert auf einen maximalen, vorgegebenen Wert (MAX JVALUE) gesetzt. 

[0087] Nachdem fur jeden Kontur-Bildpunkt ein Referenz-Kontur-Bildpunkt und damit ein entsprechender optimaler 
Translationsvektor ermittelt worden ist (Schritt 206), wird fur die einzelnen Kontur-Bildpunkte eine neue, stabilisierte 
Bewegung errechnet (Schritt 207). 

[0088] Dies ist moglich, indem die Translationswerte aus der Vergangenheit, das heiBt aus vorangegangenen Bewe- 
35 gungsermittlungen gespeichert werden, 

[0089] Mit T \ (t) werden die L-yergangenen Translationen bezeichnet, die uber die Vorganger-Referenz-Kontur-Bild- 
punkle bekannl sind. 

[0090] Die neue Bewegung wird dann beispielsweise mittels einer Mittelwertbildung bestirnmt. Anders ausgedriickt 
erfolgt eine zeitliche Ruckkopplung bei der Bestimmung der jeweiligen Translationen. 
40 [0091] Zur Mittelwertbildung werden folgende Vcrfahrcnsschrittc durchgefuhrt. In cincm crstcn Schritt wird die mitt- 
lere Verschiebung 
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(6) 



50 



55 



berechnet 

[0092] Ferner werden die neuen vergangenen Trahslationsschatzungen, das heiBt die neuen Translationsvektoren ge- 
maB folgender Vorschrift abgespeichert: 

3f(t) = bi,T0(t-l),...,TL- 2 (t-l)J. (7) 

[0093] Altemativ kann die Bewegung dadurch ermittelt werden, dass die ermittelten Translationsvektoren rekursiv ge- 
maB folgender Vorschrift gcfiltcrt werden: 

m i (t) = mi(t-l)+a-(mi(t-l)-T i ). (8) 
[0094] Die rekursive Filterung hat den Vorteil, dass sie weniger Speicherplatz benotigt. 

[0095J Als letzter Verarbeitungsschritt wird gemaB dieser Ausgestaltung der Erfindung die Kontur in das Abstandsbild 
60 iiberfuhrt, so dass der Wert an jedem Bildpunkt in dem Abstandsbild dem minirnalen Abstand zu einem Kontur-Bild- 
punkt entspricht gemaB folgender Vorschrift: 

Dva)(x,y,t-l)=min||[x,y] T -vat-l)H. (8) 

65 [0096] Altemativ kann die Distanztransformation gemaB den in [7] und [8] beschriebenen Verfahren implementiert 
sein. 

[0097] Im Weiteren wird das in [6] beschriebene Verfahren kurz dargestellt 

[0098] Die Darstcllung dicnt insbesonderc dazu, den numcrischen Aufwand bei der Implcmcnticrung des oben bc- 
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schriebenen Verfahrens darzulegen. 

[0099] Zur Bestimmung der Distanztransformation nriissen rnitunter Abstandswerte zwischen den jeweiligen Bild- 
punkten betrachtet werden, die auf dem Bildraster, das heiBt in dem jeweiligen betrachteten digitalen Bild relativ weit 
voneinander ortlich entfemt sind. 

[0100] Die Berechnung der Distanzwerte ist damit eine relativ numerisch aufwendige Operation. 5 
[0101] Anstatt fur einen Bildpunkte alle moglichen Ab stands werte zu Kontur-Bildpunkten zu bestimmen und in Rela- 
tion zueinander zu setzen, werden bei der Distanztransformation ausschlieBlich lokale Abstande betrachtet 
[0102] Auf diese Weise kann der wahre euklidische Abstand jedoch nur approximiert werden. Die in [6] beschriebene 
parallel e Variante der Distanzlransformadon besilzl folgende foniiale Struklur. 

[0103] Zunachst wird iterativ eine lokale Maske iiber das Abstandsbild geschoben. An der Position des Maskenzen- 10 
trums wird der neue Distanzwert in dem Abstandsbild zu der Referenz-Kontur gemaB folgender \forschrift berechnet: 

D^(x, y) = min ^) n ~ 1 (x / y) + maskfci, v)). 
u,ve mask 

[0104] Dabei wird mit n jeweils ein Iterationsschritt eindeutig identifiziert. Mit D°(x, y) wird das invertierte Abstands- 
bild bezeichnet. 

[0105] Auf diese Weise wird erreicht, dass initial an den Konturbildpunkteh der Bildwert, der dem Abstandswert ent- 
spricht, mit dem Wert "0" vorliegt und alle restlichen Bildwerte einen konstanten Wert groBer als die zu erwartende ma- 20 
ximale Distanz aufweisen. 

[0106] Mit mask(u, v) wird die lokale Maske bezeichnet. Die Maskenwene entsprechen den lokalen Abstandswerten 
der Bildpunkte an den jeweiligen Maskenposilionen zum Maskenzentrum. 

[0107] GemaB [6] werden fur verschiedene MaskengroBen die opdmalen lokalen Abstandswerte bestimmt, so dass die 
resultierenden Abstandswerte moghchst wenig von der wahren euklidischen Distanz abweichen. 25 
[0108] Dabci gilt prinzipicll, dass jc groBer die Maske ist, desto gcringcr ist die Abwcichung, das heiBt der numerischc 
Fehler. 

[0109] Abhangig von der Distanztransformation, das heiBt von dem Abstandsbild, erfolgt in einem letzten Schritt die 
zeitlich riickgekoppelte Bewegungsbestimmung 103, die das Ergebnis der Konturzuordnung iiber mehrere zeitlich auf- 
einander folgende Bilder verwendet. Im Rahmen der Ermittiung der Bildbewegung wird die Konturzuordnung 102 ge- 30 
nutzt, um die Bewegung der Konturen zeitlich zu stabilisieren. Als Ergebnis dieses Schrittes wird zu jedem Kontur-Bild- 
punkt ein Beweeungsvektor angegeben. 

[0110] Mit M*(k, t) wird die Menge aller Bewegiingsvektoren an jedem Kontur-Bildpunkt zu einem Zeitpunkt t be- 
zeichnet 

[0111] In den Fig. 4a bis Fig. 4c werden Ergebnisse der oben dargestellten Implementierung der Bewegungsermittlung 35 
gezeigt Die gesamte Verarbeitungszeit auf einem Pentium m mit 650 MHz betragt ftlr eine BildgroBe von 128 Zeilen zu 
128 Spalten ca. 20 ms. 

[0112] Die genaue Verarbeitungszeit hangt jedoch mit der Anzahl der zu bearbeitenden Kontur-Bildpunkte zusammen. 
[0113] Im Weiteren werden einige Altemativen zu dem oben dargelegten Ausfuhrungsbeispiel erlautert 
[0114] Es ist anzumcrken, dass die Objcktkonturcn vom Eintritt cincs Objcktcs in einen iibcrwachtcn, das heiBt von ei- 40 
ner Digitalkamera aufgenornmenen Aufnahmebereich bis zu seinem Verlassen hin durchgangig verfolgt werden kann. 
Damit konnen beispielsweise fur eine automatische Erfassung Yon Verkehrsdaten direkt die Verweilzeiten von Fahrzeu- 
gen in dem Aufnahmebereich bestimmt werden und beispielsweise in der Stauprognose oder auch im Rahmen der Kol- 
lisionsvermeidung von Fahrzeugen beriicksichtigt werden. 

[0115J Die Konturzuordnung, wie sie oben beschrieben wurde, beruht zunachst nur auf dem Auswerten der Abstands- 45 
werte und damit auf der Form der Kontur selbst. 

[0116] Bei vielen technischen Objekten, beispielsweise bei Fahrbahnmarkierungen oder \ferkehrsschildem treten je- 
doch haufig parallele Konturverlaufe auf. Die Form allein kann somit nicht immer ein eindeutiges Kriterium darstellen. 
Sornit wird alternativ der Konturform eine zusatzliche Information beigefilgt, namlich die Konturrichtung, mittels der 
angegeben wird, in welcher Richtung der Kontrastsprung in der jeweiligen Kontur erfolgt. 50 
[0117] Die Konturrichtung wird automatisch mil der Konlurgenerierung beslimml. Bei einer weiBen Fahrbahnmarkie- 
rung erfolgt ein Grauwertwechsei von dunkel zu hell und wieder zuriick zu dunkel. Der linke und rechte Rand der jewei- 
ligen Kontur verlaufen dann parallel, aber ihre Konturrichtung ist entgegengesetzt 
[0118] Um die Konturrichtung als zusatzlichcs Mcrkmal zu nutzen, wird wic folgt vorgegangen: 

55 

- Ahnlich der Distanztransformation wird die Richtungsinformation von v M t - 1 dilatiert. 

- Bei der Summation der Abstandswerte werden die Falle in einer Kostenfunktion bestraft, das heiBt negativ be- 
wertet, bei der die Richtung des aktuellen Konturpunkts mit der dilatierten Richtung nicht ubereinstimmt. 

[0119] Anschaulich wird durch die Erfindung ein sehr vorteilhafter Kompromiss zwischen Datenreduktion und Erhal- 60 
tung der wesentlichen Bildinformation in einer Folge digital er Bilder angegeben. 

[0120] Wie in [9] beschrieben, ist es sogar moglich, aus einer Konturreprasentation das gesamte digitale Bild wieder zu 
rekonstruieren. 

[0121] Anschaulich stellt die Erfindung aufgrund der Verwendung von Konturen zur Bewegungsermittlung einen kor- 
relationsbasierten Ansatz dar, der insbesondere hinsichtlich Segmentierungsfehlem wesentlich robuster ist als die be- 65 
kannten lediglich bildpunktbasierten Verfahren. 

[0122] AuBerdem ist aufgrund mittels der Distanztransformation eine sehr effiziente Implementierung der Erfindung 
angegeben. 



(9) 

15 



7 



DE 101 23 365 A 1 



[0123] In diesem Dokument sind folgende Veroffentlichungen zitiert: 

[1] S.M. Smith, ASSET-2: Real-Time Motion Segmentation and Shape Tracking, IEEE Transactions on Pattern Analysis 
and Machine Intelligence, VoL 17, No. 8, Seite 814-820, 1995; 

12] W. Enkelmann et al, Obstacle Detection by Real-lime Optical How Evaluation, Intelligent Vehicles 1994, Seite 
S 97-102,1994; 

[3] D. Beymer, R McLauchlan et al, A Real-Time Computer Vision System for Measuring Traffic Parameters, CVPR '97, 
1997; 

[4] J. Canny, A Computational Approach to Edge Detection, IEEE Transactions on Pattern Analysis and Machine Intel- 
ligence, Vol. 6, 1998; 
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1 . Verfahren zur Ermittlung der Bewegung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern mit 
Bildpunkten, denen Codierungsinformation zugeordnet ist, 

bei dem unter Verwendung der Codierungsinformation in einem ersten Bild mindestens eine Kontur mit einer Viel- 
45 zahl von auf der Kontur sich befindenden Kontur-Bildpunkten ermittelt wird, und 

bei dem unter Verwendung der auf der ermittelten Kontur des ersten Bildes sich befindenden Kontur-Bildpunkte die 
Bewegungsermittlung durchgefuhrt wird beziiglich einer in einem zweiten Bild enthaltenen Referenz-Kontur mit 
Referenz-Kontur-Bildpunkten. 

2. Verfahren nach Anspruch 1, bei dem unter Verwendung der Codierungsinformation in dem zweiten Bild minde- 
50 stens eine Referenz-Kontur mit einer Vielzahl von auf der Kontur sich befindenden Referenz-Kontur-Bildpunkten 

enniLtelt wird. 

3. Verfahren nach Anspruch 1 oder 2, 

bei dem im Rahmen der Bewegungsermittlung Minimal- Ab stands werte zwischen Bildpunkten eines Abstandsbil- 
dcs und der Rcfcrcnz-Kontur mittcls cincr morphologischcn Operation bestimmt werden, und 
55 bei dem die Minimal- Ab stands werte gespeichert werden. 

4. Verfahren nach Anspruch 3, bei dem als morphologische Operation eine Distanztransformation verwendet wird. 

5. Verfahren nach Anspruch 3 oder 4, bei dem ein Minimal-Abstandswert D V (i)(x, y, t - 1) fur einen Kontur-Bild- 
punkt v'(l, t) zu einem Zeitpunk t zu einem Bildpunkt (x,.y) gemaB folgenderVorschrift ermittelt wird: 

60 Dv a) (x, y, 0 = nun||[x, y] T - v (l, t) ||, 

wobei mit 

- D v <i)(x, y» 0 ein Minimal-Abstandswert zwischen dem Bildpunkt [x, y] und einem Referenz-Kontur-Bild- 
punkts auf der Referenz-Kontur in dem zweiten Bild, 

65 - [x, y] ein Bildpunkt in dem Abstandsbild, 

- v'(L t) ein Referenz-Kontur-Bildpunkt in dem zweiten Bild, 

- 1 ein Referenz-Kontur-Bildpunktindex zur eindeutigen Identifizierung eines Referenz-Kontur-Bildpunkts 
auf der Rcfcrcnz-Kontur in dem zweiten Bild, 
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- tein Zeitpunkt, zu deni die Ermittlung durchgefuhrt wird, 
bezeichnet wird. 

6. Verfahren nach einem der Anspriiche 1 bis 5, bei dem die Kontrastrichtung, in welcher die Kontrastveranderung 
entlang einer Kontur verlauft, bei der Bewegiingsermitdung berucksichtigt wird. 

7. Vorrichtung zur Ermittlung der Bewegung in mindestens zweit zeitlich aufeinander folgenden digitalen Bilder 5 
rait Bildpunkten, denen Codierungsinformation zugeordnet ist, mit einem Prozessoi; der derart eingerichtet ist, dass 
folgende Verf ahrens schritte durchfiihrbar sind: 

- Unter Verwendung der Codierungsinformation wird in einem ersien Bild mindestens eine Kontur mit einer 
Vielzahl von auf der Kontur sich befindenden Kontur-Bildpunklen eniritLelL und 

- unter Verwendung der auf der errnittelten Kontur des ersten Bildes sdch befindenden Kontur-Bildpunkte 10 
wird eine Bewegung durchgefiihrt bezuglich einer in einem zweiten Bild enthaltenen Referenz-Kontur mit Re- 
ferenz-Kontur-Bildpunkten. 

8. Computerprogramm-Element, das, nachdem es in einen Speicher des Computers geladen worden ist und von ei- 
nem Prozessor des Computers ausgeftihrt wird, folgende Schritte aufweist zur Ermittlung der Bewegung in minde- 
stens zweit zeitlich aufeinander folgenden digitalen Bilder mit Bildpunkten, denen Codierungsinformation zugeord- 15 
net ist 

unter Verwendung der Codierungsinformation wird in einem ersten Bild mindestens eine Kontur rrtit einer Vielzahl 
von auf der Kontur sich befindenden Kontur-Bildpunkten ermittelt und 

unter Verwendung der auf der errnittelten Kontur des ersten Bildes sich befindenden Kontur-Bildpunkte wird eine 
Bewegung durchgefuhrt beziiglich einer in einem zweiten Bild enthaltenen Referenz-Kontur rnit Referenz-Kontur- 20 
Bildpunkten. 

9. Computerlesbares Speichermediurn, auf dem ein Programm gespeichert ist, das es einem Computer ermdglicht, 
nachdem es in einen Speicher des Computers geladen worden is L, folgende Schritte durchzuluhren zur Ermittlung 
der Bewegung in mindestens zweit zeitlich aufeinander folgenden digitalen Bilder mit Bildpunkten, denen Codie- 
rungsinformation zugeordnet ist 25 
unter Verwendung der Codierungsinformation wird in cincm ersten Bild mindestens cine Kontur mit einer Mclzahl 
von auf der Kontur sich befindenden Kontur-Bildpunkten ermittelt und 

unter Verwendung der auf der errnittelten Kontur des ersten Bildes sich befindenden Kontur-Bildpunkte wird eine 
Bewegung durchgefuhrt bezuglich einer in einem zweiten Bild enthaltenen Referenz-Kontur mit Referenz-Kontur- 
Bildpunkten. 30 
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